#Activation Steering

5 篇

LocUS: Head Selection and Subspace Projection for Targeted Activation Steering

LocUS：面向目标激活转向的头部选择与子空间投影

🧭 LLM 推理时激活转向 · 低秩子空间

Area Science Park, Trieste, Italy · Institute of Science and Technology Austria · Université Côte d'Azur, Inria, LJAD, Maasai Project Team, Nice, France

LocUS 将激活转向约束到输出词汇子空间并稀疏选择注意力头，以干预<6%参数匹配或超越 SOTA 并更好保持通用能力

📌 工作参考价值（3 点）

在电商客服/导购 Agent 中，可用 LocUS 做实时安全/合规控制：基于对比数据估计转向方向，但通过 unembedding 子空间投影和稀疏头部选择，仅干预 <6% 参数，避免大幅损害商品推荐能力。
利用模型原始 unembedding 矩阵作为属性子空间来源，无需额外训练即可定位特定属性（如“负评倾向”）对应的输出方向，并在局部修正，此法可复用于生成式推荐中的风格/属性控制。
对 LLM 生成推荐理由或商品描述的场景，可对生成的语义属性（如情绪、说服力）做 targeted steering，同时不改变物品 ID 或事实准确性，保持通用能力不下降。

LLM | 2026-09-25 | cs.CL | score 6/10

Tracing Query Expansion Effects through Sparse Autoencoder Features

通过稀疏自编码器特征追踪查询扩展效应

🧭 SAE可解释性 + 查询扩展分析

Shandong University · University of Chinese Academy of Sciences · Institute of Software, Chinese Academy of Sciences

用SAE分解dense retriever表示，解释查询扩展引起的内部特征变化，并通过激活引导提升检索性能

📌 工作参考价值（3 点）

利用SAE特征分析查询改写/扩展对检索模型内部表示的影响，定位与用户意图、商品属性相关的稀疏维度，可用于电商搜索相关性问题的诊断与归因。
激活引导提供了一种无需重训检索模型或改写查询的轻量干预方式，可能用于实时调整检索行为，例如在电商搜索中提升特定品类或意图的召回。
对于生成式推荐或Agent系统，可借鉴SAE分解中间表示的方法，理解上下文如何影响item或action的生成，增强模型决策的可解释性。

Other | 2026-09-07 | cs.IR | score 7/10

Sparse Autoencoder Query Expansion Dense Retrieval Interpretability Activation Steering

Beyond Shallow Alignment: How Post-Training Methods Determine Refusal Circuits And Steering Robustness

后训练目标如何重塑拒绝电路与转向鲁棒性

🧭 LLM 安全对齐与机制可解释性 ★ 深度解读

Macquarie University

比较 SFT、Ra-SFT、ORPO 三种后训练方法，发现训练目标而非数据重塑拒绝计算，且无一同时满足分布式编码、安全/效用可分离、细粒度可纠正

📌 工作参考价值（4 点）

在搜索推荐/Agent 场景使用 LLM 时，安全后训练不能只盯 ASR：ORPO 安全最强但易过度拒答（Gemma ORPO XSTest ORR 31.6%），会误杀合法 query、系统运维或广告文案生成。应同时评估 XSTest 类 over-refusal，并按业务敏感度选择 SFT/Ra-SFT/ORPO。
对 LLM 上线前的安全评估，可借鉴其 circuit-level 归因：检查 refusal 是否集中在少数 attention heads 或 MLP。若集中在 attention heads，模型对语义改写类攻击（happy_to_help、role_play）更脆弱，这正是搜索 query 被恶意改写时常见的风险。
若做在线安全干预或 activation steering，优先选择 recognition-layer 而非 execution-layer：Gemma Ra-SFT 在 recognition 层 steering 降低 ASR 18.8pp，而 execution 层仅 5.8pp，且对 MMLU 损害更小。这提示可用轻量 steering 做 Agent 流程中的安全过滤，但需先验证架构与训练目标。
Ra-SFT 引入 reasoning chains 后，拒绝电路更分散、可纠正性更好，但推理开销上升；在低延迟搜索/推荐链路中需权衡。若对响应质量要求高，可考虑用短 reasoning 或只对高风险 query 触发 Ra-SFT。

Training | 2026-09-03 | cs.CL | score 8/10

Safety Alignment Mechanistic Interpretability Post-Training ORPO Refusal Circuits Activation Steering

SHIFT: Gate-Modulated Activation Steering for Knowledge Conflict Mitigation in Retrieval-Augmented Generation

缓解检索增强生成中知识冲突的门控调制激活引导方法

🧭 门控机制自适应调节激活以解决知识冲突

Northeastern University · Tsinghua University

提出 SHIFT，用可学习门控模块替代神经元编辑，自适应调节激活，以低于 0.01% 参数解决 RAG 知识冲突

📌 工作参考价值（4 点）

可借鉴轻量门控模块（训练参数 <0.01%）插件式插入 LLM，冻结骨干，在不损害通用能力的前提下提升 RAG 冲突场景下的上下文遵循度，适合低资源快速适配。
门控调制激活的方式比神经元定位和层固定规则更灵活，可在电商搜索推荐中的商品知识增强、客服问答等 RAG 场景使用，避免因知识冲突产生错误推荐。
该方法属于参数高效微调，可与现有 PEFT 方案（如 LoRA）叠加，工程实现成本低，可直接嵌入到已有 RAG 管线。
论文在多个数据集上验证，开源代码可直接复用，适合业务团队快速验证门控激活引导在自身场景的效果。

RAG | 2026-06-26 | cs.CL | score 7/10

RAG Knowledge Conflict Gate Modulation Activation Steering LLM Parameter-Efficient

UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering

UniSteer：文本引导的激活空间流匹配实现通用LLM控制

🧭 LLM激活导向控制

ShanghaiTech University

用文本条件统一控制LLM行为的激活流匹配框架，支持细粒度概念和多约束组合。

📌 工作参考价值（4 点）

Agent 行为风格控制：在电商多智能体对话系统中，可利用 UniSteer 的文本条件流匹配对单个 Agent 的回复风格（如亲切客服、专业导购）进行细粒度激活干预，而无需微调模型。
推荐理由多样性生成：将“个性化”“幽默”“极简”等文本条件注入激活空间，可引导 LLM 在生成推荐理由时呈现不同风格，提升内容吸引力，无需为每种风格训练独立控制模块。
多约束指令遵循：当业务需要同时满足合规性、品牌调性、敏感词规避等多个约束时，UniSteer 的组合式条件能力可一次性应用多条文本规则，比顺序推理或多次干预更高效。
激活空间分类用于质量筛选：利用重构能量进行分类的方式，可作为轻量级线上过滤器，对 LLM 生成的候选文案或对话回复进行快速一致性或真实度评分，降低人工审核成本。

LLM | 2026-05-27 | HF Daily | score 7/10

Flow Matching Activation Steering LLM Text-Guided Conditional Generation